با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد در واقع وب کاوی، فرآیند کشف اطلاع

دانلود مقاله رشته کامپیوتر وIT

دانلود مقاله وب کاوی در صنعت کارشناسی کامپیوتر

 

چکیده

با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

کلمات کلیدی

وب کاوی

داده کاوی

صنعت

 

مقدمه

با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 3/7 میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است.

 

فهرست مطالب

عنوان شماره صفحه

فصل اول:مقدمه

مقدمه 1

فصل دوم:داده کاوی

2- 1 مقدمه ای بر داده کاوی 6

2-1-1 چه چیزی سبب پیدایش داده کاوی شده است؟ 7

2-2 مراحل کشف دانش 9

2- 3 جایگاه داده کاوی در میان علوم مختلف 12

2-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟ 14

2-5 داده کاوی و انبار داده ها 14

2-6 داده کاوی و OLAP 15

2-7 کاربرد یادگیری ماشین و آمار در داده کاوی 16

2-8 توصیف داده ها در داده کاوی 16

2-8-1 خلاصه سازی و به تصویر در آوردن داده ها 16

2-8-2 خوشه بندی 17

2-8-3 تحلیل لینک 18

2-9 مدل های پیش بینی داده ها 18

2-9-1 دسته بندی 18

2-9-2 رگرسیون 18

2-9-3 سری های زمانی 19

2-10 مدل ها و الگوریتم های داده کاوی 19

2-10-1 شبکه های عصبی 19

2-10-2 درخت تصمیم 22

2-10-3 Multivariate Adaptive Regression Splines(MARS) 24

2-10-4 Rule induction 25

2-10-5 K-nearest neibour and memory-based reansoning(MBR) 25

2-10-6 رگرسیون منطقی 26

2-10-7 تحلیل تفکیکی 27

2-10-8 مدل افزودنی کلی (GAM) 28

2-10-9 Boosting 28

2-11 سلسله مراتب انتخابها 28

2-12داده کاوی و مدیریت بهینه وب سایت ها 30

2-13داده‌كاوی و مدیریت دانش 31

فصل سوم: وب کاوی

3-1 تعریف وب کاوی 33

3-2 مراحل وب کاوی 33

3-3 وب کاوی و زمینه های تحقیقاتی مرتبط 34

3-3-1 وب کاوی و داده کاوی 34

3-3-2 وب کاوی و بازیابی اطلاعات 35

3-3-3 وب کاوی و استخراج اطلاعات 36

3-3-4 وب کاوی و یادگیری ماشین 37

3-4 انواع وب کاوی 37

3-5 چالش های وب کاوی 38

3-6مشكلات ومحدودیت های وب كاوی در سایت های فارسی زبان 39

3-7 محتوا کاوی وب 40

 

فصل چهارم: وب کاوی در صنعت

4-1 انواع وب کاوی در صنعت 43

4-1-1وب کاوی در صنعت نفت، گاز و پتروشیمی 43

4-1-1-1 مهندسی مخازن/ اکتشاف 43

4-1-1-2مهندسی بهره برداری 44

4-1-1- 3مهندسی حفاری 44

4-1-1-4بخشهای مدیریتی 44

4-1-2 کاربرد های دانش داده کاوی در صنعت بیمه 45

4-1-3کاربردهای دانش داده کاوی در مدیریت شهری 46

4-1-4کاربردهای داده کاوی در صنعت بانکداری 47

4-1-4-1بخش بندی مشتریان 47

4-2 پژوهش های کاربردی 48

نتیجه گیری 50

منابع و ماخذ فارسی 51

مراجع و ماخذ لاتین و سایتهای اینترنتی 52

 

 

فهرست اشکال

عنوان شماره صفحه

شکل(2-1) داده کاوی به عنوان یک مرحله از فرآیند کشف دانش 8

شکل(2-2) سیر تکاملی صنعت پایگاه داده 10

شکل (2-3) معماری یک نمونه سیستم داده کاوی 11

شکل (2-4) داده ها از انباره داه ها استخراج می گردند 14

شکل(2-5( داده ها از چند پایگاه داده استخراج شده اند 15

شكل(2-6) شبکه عصبی با یک لایه نهان 20

شكل(2-7) Wx,y وزن یال بین X و Y است. 21

شكل(2-8) درخت تصمیم گیری 23

شكل(2-9( روش MBR 26